Nguyễn Xuân Sơn tốt nghiệp đại học chuyên ngành vật giá và Trường Đào tạo cán bộ Dầu khí của Đại học Kinh tế Quốc dân. Ông có bằng đào tạo chuyên ngành Quản trị kinh doanh, cấp đào tạo trên đại học tại Trường Đại học Nam Carolina, Hoa Kỳ.

Từ năm 2003 đến tháng 10 năm 2006, Nguyễn Xuân Sơn làm Phó Tổng giám đốc Công ty Tài chính Dầu khí (PVFC), sau đó là Tổng giám đốc PVFC đến tháng 5 năm 2007. Ông từng làm Trưởng Ban chuẩn bị thành lập Ngân hàng Hồng Việt giai đoạn 2008. Từ tháng 12 năm 2008 đến tháng 11/2010, ông được bổ nhiệm và nắm giữ chức vụ Tổng giám đốc OceanBank, đến 2011 thì thôi chức Tổng giám đốc OceanBank.

Ngày 8 tháng 7 năm 2014, Nguyễn Xuân Sơn được bổ nhiệm giữ chức Chủ tịch Hội đồng thành viên PetroVietnam. Ngày 19 tháng 7 năm 2015, theo đề nghị của Bộ Công Thương và Bộ Nội vụ, Thủ tướng Nguyễn Tấn Dũng đã ký Quyết định về việc thôi chức Chủ tịch Hội đồng thành viên Tập đoàn Dầu khí Quốc gia Việt Nam đối với Nguyễn Xuân Sơn.